我们介绍了螺旋(一种超线性收敛的增量近端算法),用于在相对平滑度假设下求解非凸的正则有限总和问题。本着Svrg和Sarah的精神,螺旋的每一个迭代都由一个内部和外循环组成。它将增量和完整(近端)梯度更新与LineSearch相结合。结果表明,在使用准牛顿方向时,在极限点的轻度假设下达到了超线性收敛。更重要的是,多亏了该线路搜索,确保全球融合得以确保最终将始终接受单位步骤。在不同的凸,非凸和非lipschitz可区分问题上的仿真结果表明,我们的算法以及其自适应变体都与最新的状态竞争。
translated by 谷歌翻译